持续学习(CL)构成了深层神经网络(DNN)的重大挑战,这是由于灾难性的忘记在引入新的任务时对先前获得的任务的灾难性忘记。人类在学习和适应新任务的情况下擅长而无需忘记,这是通过大脑中的融合学习系统归因于抽象体验的彩排的能力。这项研究旨在复制和验证Birt的发现,Birt的发现是一种新型方法,利用视觉变压器来增强表示练习的代表性,以进行持续学习。birt在视觉变压器的各个阶段引入了建设性噪声,并与工作模型的指数移动平均值(以减轻过度拟合并增强鲁棒性)相加。通过复制Birt的方法,我们试图验证其声称的改善,比传统的原始图像排练和香草代表对几个具有挑战性的CLENCHM分析进行排练。此外,这项研究还研究了Birt对自然和对抗性腐败的记忆效率和稳健性,旨在增强其实际适用性。复制将提供对原始论文中介绍的思想的可这种可总合性和普遍性的关键见解。
主要关键词